MLLM-Routed Heterogeneous Ensembles for Robust Cross-Dataset Image Classification
MLLM路由异构集成用于鲁棒跨数据集图像分类
🧭 多模态LLM路由异构视觉模型
University of Tennessee, Knoxville · The Bredesen Center for Interdisciplinary Research and Graduate Education
用多模态大语言模型agent动态路由每张图像到最合适的视觉骨干，实现跨域集成分类
📌 工作参考价值（4 点）
- LLM/MLLM 作为轻量级路由决策层：无需训练专门的路由模型，直接使用通用多模态大模型根据样本特征（如图像、文本描述）动态选择下游专家模型。可迁移到电商推荐中的多路召回/排序集成，比如按商品类目、用户意图或内容复杂度路由到不同精排模型。
- 异构模型集成 + 统一 label space：不同架构（CNN、SSL、VLM）共享统一标签空间，各自发挥优势。推荐系统中可以将协同过滤、Transformer、多模态模型统一在相同的候选集空间下，由 LLM 路由选择，降低集成维护成本。
- 通过 prompt 快速增加新知识：路由器只需修改 prompt 就能纳入新领域信息，无需重新训练。适合电商业务中频繁扩展新类目、新活动场景，能大幅缩短模型更新周期。
- 自然语言推理 trace 增强可解释性：路由决策附带 reasoning trace，便于线上 badcase 诊断和策略审计。对推荐系统中的模型选路、兜底策略可解释性有直接借鉴价值。